文档

功能发布记录(2023年)

更新时间:

本文为您介绍2023年DataWorks产品功能和对应的文档动态。

2023-12

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

数据开发(DataStudio)绑定数据源

若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发(DataStudio)模块。绑定后,才可读取数据源或集群中的数据,并进行相关开发操作。

2023.12.29

所有地域

所有DataWorks用户

开发前准备:绑定数据源或集群

新版数据源发布

为给您带来更统一的产品使用体验,DataWorks将MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL、ClickHouse计算引擎合并至数据源管理;将E-MapReduce(简称EMR)、CDH/CDP引擎合并至开源集群管理。合并后,原计算引擎的相关操作(例如,创建、编辑)将通过数据源/开源集群界面执行。

2023.12.29

所有地域

所有DataWorks用户

新增扩展点事件

  • DeleteProject:删除项目空间前置事件。

  • ProjectDeleted:删除项目空间后置事件。

  • DownloadResources:数据下载事件。

2023.12.27

所有地域

所有DataWorks用户

新增扩展点应用范围

扩展点事件新增应用范围:

  • 租户级:租户级事件对整个租户均生效。

  • 空间级:空间级事件仅对目标工作空间生效。

注册扩展程序时,仅支持选择某一类型的扩展点事件。

2023.12.22

  • 华北2(北京)

  • 华东1(杭州)

  • 华东2(上海)

  • 华北3(张家口)

  • 华南1(深圳)

  • 西南1(成都)

  • 美国(硅谷)

  • 美国(弗吉尼亚)

  • 德国(法兰克福)

  • 日本(东京)

  • 中国(香港)

  • 新加坡地域

所有DataWorks用户

数据治理中心新增SQL效率优化检查项

数据治理中心新增对ODPS、Hive、Spark SQL的笛卡尔积检查、无效全表JOIN检查、暴力扫描等5项检查项,帮助您在研发环节进行事前主动检查和及时优化,提升计算效率,避免出现大量计算资源浪费,保障数据产出时效性。

2023.12.22

所有地域

所有DataWorks用户

配置检查项

新增适配StarRocks数据源

DataWorks全面适配StarRocks数据源:

  • 数据集成:支持同步StarRocks数据。

  • 数据开发:支持创建StarRocks任务并周期性调度。

  • 数据分析:支持查询并分析StarRocks数据。

  • 数据服务:支持将StarRocks数据表封装为API。

  • 数据地图:支持纳管StarRocks元数据并进行搜索展示。

2023.12.15

所有地域

所有DataWorks用户

新增适配多个E-MapReduce Hadoop集群版本

DataWorks新增适配十余种E-MapReduce Hadoop集群版本,包括:

  • EMR-3.26.3

  • EMR-3.27.2

  • EMR-3.29.0

  • EMR-3.32.0

  • EMR-3.35.0

  • EMR-3.38.2

  • EMR-3.38.3

  • EMR-4.3.0

  • EMR-4.4.1

  • EMR-4.5.0

  • EMR-4.5.1

  • EMR-4.6.0

  • EMR-4.8.0

  • EMR-4.9.0

  • EMR-5.2.1

  • EMR-5.4.3

  • EMR-5.6.0

2023.12.15

所有地域

所有DataWorks用户

DataWorks On EMR使用说明

数据开发Check节点新增检查对象

Check节点可用于检查目标对象(MaxCompute分区表、FTP文件或OSS文件)是否可用,当满足检查策略后Check节点会返回运行成功状态。

若某任务的运行依赖目标对象,可使用Check节点检查目标对象,并设置该任务为Check节点的下游任务,满足检查策略后,Check节点便会运行成功并触发下游任务执行。

2023.12.08

所有地域

所有DataWorks用户

Check节点

数据开发新增PAI DLC节点

您可通过PAI DLC节点周期性调度运行PAI DLC任务。

2023.12.08

所有地域

所有DataWorks用户

PAI DLC节点

安全中心增加实时风险识别规则

安全中心支持管理员将风险识别能力以扩展程序的方式注册至DataWorks,作为风险识别规则,用于识别操作行为中的风险。

当前已支持对数据下载操作行为通过预设/自定义扩展程序识别风险,并按需申请下载或阻断下载行为。

2023.12.08

所有地域

所有DataWorks用户

风险识别规则

2023-11

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

数据开发(DataStudio)新增Check节点

DataWorks的Check节点可检查MaxCompute分区表是否已可用(即目标分区存在或已判断分区数据写入完成)。当下游任务需依赖该MaxCompute分区表时,您可使用此功能先检查分区数据是否可用,避免操作的数据有误。

2023.11.20

  • 西南1(成都)

  • 华北3(张家口)

  • 华北2(北京)

  • 华东2(上海)

  • 马来西亚(吉隆坡)

所有DataWorks用户

Check节点

独享服务资源组服务新地域开服

独享服务资源组开通以下地域:华北3(张家口)、中国(香港)和新加坡,及对应地域资源组的规格和计费标准。

2023.11.29

所有地域

所有DataWorks用户

2023-10

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

Copilot邀测发布

DataWorks Copilot可根据自然语言快速完成多种SQL相关操作(例如,生成SQL、改写SQL、纠正SQL错误、生成SQL注释),帮助您轻松、高效地完成数据ETL及数据分析工作,节省大量时间和精力。

2023.10.30

  • 西南1(成都)

  • 华北3(张家口)

  • 华北2(北京)

  • 华东2(上海)

  • 华南1(深圳)

  • 华东1(杭州)

  • 华北6(乌兰察布)

报名参加邀测的用户

使用Copilot+增强分析实现一站式智能数据查询与可视化

数据治理中心新增治理计划

治理计划可帮助数据治理管理者场景化规划治理工作,完成多人协作治理的推进和实施,使数据治理工作“有目标”、“易执行”、“可量化”。

产品提供了资源成本优化、数据稳定性治理等多项治理计划模板,预置治理目标,可快速圈选待治理资产范围,自动周期评估治理成效。

2023.10.25

  • 西南1(成都)

  • 华北3(张家口)

  • 华北2(北京)

  • 华东2(上海)

  • 华南1(深圳)

  • 华东1(杭州)

  • 华北6(乌兰察布)

DataWorks企业版及以上版本用户

制定数据治理计划

2023-08

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

DataWorks支持自定义调度周期

基于DataWorks原有调度周期,新增调度日历,支持用户在日历上标记调度策略为调度日或非调度日,达到自定义调度周期的效果。

2023.08.24

所有地域

DataWorks企业版本用户

配置调度日历

数据治理中心支持E-MapReduce数据湖研发治理

DataWorks数据治理中心新增基于E-MapReduce集群+DLF+DataWorks数据湖开发链路的主动治理分析,包括:

  • 支持治理健康分评估。

  • 支持研发及存储维度治理项问题自动发现。

  • 支持基于Hive SQL与Spark SQL的事前问题检查预防。

2023.08.24

  • 华北2(北京政务云)

  • 华东2(上海金融云)

  • 华东2(上海)

  • 华东1(杭州)

  • 华北2(北京)

  • 华南1(深圳)

  • 西南1(成都)

  • 中国(香港)

  • 新加坡

  • 美国(硅谷)

  • 德国(法兰克福)

  • 印度尼西亚(雅加达)

DataWorks企业版及以上版本用户

数据治理中心概述

新发布可视化增强分析能力

数据分析 > SQL查询支持通过增强分析功能,对分析结果执行如下操作:

  • 进行可视化展示并保存为数据卡片,生成数据报告。

  • 共享分析结果。

极大提高了企业数据分析的效率。

2023.08.15

  • 华东2(上海

  • 华东1(杭州)

  • 华北2(北京)

  • 华南1(深圳)

  • 华北3(张家口)

  • 西南1(成都)

  • 华北6(乌兰察布)地域

所有DataWorks用户

增强分析(卡片和报告)

2023-06

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

数据建模发布行业模型模板

结合阿里云模型建设项目经验,提供免费的零售行业模型模板和付费的汽车行业模型模板,包含数仓分层划域、数据标准、模型表、数据指标等丰富的样例,帮助企业快速完成数仓规范性建设。

2023.06.01

所有地域

所有DataWorks用户

行业模型模板

Kafka数据源实时同步Hologres并进行ETL

  • Kafka数据源至Hologres的实时同步可以实现同步过程中对于Kafka的JSON含义解析,以及其他基本的数据处理,实现实时同步的ETL流程。

  • 支持指定JSON路径的Key及Value获取,也支持动态的Key及Value扩展,适合Kafka源端消息格式存在变化的场景。

  • 支持任务配置过程中的模拟运行,提前获知写入结果的数据处理正确与否。

2023.06.01

所有地域

DataWorks所有用户

Kafka数据源

MySQL整库实时同步至OSS数据湖,写为Hudi格式

MySQL整库实时同步至OSS数据湖,写为Hudi格式。

  • 支持自动对接阿里云DLF,生成元数据用于管理。

  • 支持实例级别的同步,即源端MySQL可以同时选择多个库。

  • 支持按照正则表达式选定来源MySQL库和表。

  • 支持自动加库加表,即MySQL数据源增加库、表后,可以自动同步至OSS,无需手工干预和操作。

2023.06.01

所有地域

所有DataWorks用户

OSS数据源

数据集成支持AWS RDS数据源

将AWS RDS按照MySQL数据源方式进行配置,MySQL数据源自身具备的所有能力,AWS RDS也同样适用。

2023.06.01

所有地域

所有DataWorks用户

MySQL数据源

2023-04

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

数据分析结果直接保存为MaxCompute表

数据分析结果无需通过代码创建表,可以直接保存为MaxCompute表,进行后续查询或联合分析。

2023.4.20

所有地域

所有DataWorks用户

查询结果操作

数据分析支持查询结果百万级数据下载

数据分析SQL查询下载条数默认1万条,对于DataWorks标准版、专业版、企业版、旗舰版,管理员可在安全中心设置的最大下载条数分别为标准版(20万)、专业版(200万)、企业版(500万)、旗舰版(500万)。同时,也可以关闭下载功能。

2023.4.18

所有地域

所有DataWorks用户

SQL查询

大数据公共数据集上线

基于大数据AI公共数据集(淘宝、飞猪、阿里音乐、Github、TPC等),通过DataWorks与MaxCompute快速完成TB级别大数据分析。

2023.4.11

所有地域

所有DataWorks用户

SQL查询

2023-03

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

数据治理中心支持使用消息通知治理问题

管理员及个人用户,可将治理工作台中每日治理的待解决问题,以消息通知的形式,通过系统提示、邮件、钉钉群、Webhook等方式发送给指定对象。方便治理责任人及时了解最新待治理问题进展并快速进入系统处理。

2023.3.15

所有地域

所有DataWorks用户

配置消息通知

数据治理中心新增存储长生命周期治理项

存储长生命周期治理项可帮助用户对于MaxCompute分区表合理设置生命周期,减少存储资源的浪费。

2023.3.15

所有地域

所有DataWorks用户

处理治理项问题

数据服务的加速服务启动商业化

加速服务面向MaxCompute数据源生成在线API服务,无需导出MaxCompute数据,即可提供良好的查询性能与效率,满足在线查询需求。

2023.3.1

华东2(上海)、华北2(北京)、华东1(杭州)、华南1(深圳)地域。

所有DataWorks用户

加速服务

2023-01

功能名称

功能描述

发布时间

发布地域

使用客户

相关文档

DataWorks新增已购资源进行商品管理

新增功能如下:

DataWorks支持展示您当前所有已购买且未释放的下属商品,方便您快速进行升降规格、退费、续费等操作。

2023.1.11

所有地域

所有DataWorks用户

计费逻辑说明

DataWorks数据治理中心新增任务批量优雅下线

新增功能如下:

  • 提供面向场景的专项治理计划,主要针对无效或重复任务需要批量安全下线的场景。

  • 提供优雅下线治理计划。治理负责人通过圈定治理对象,快速进行影响人员、影响资产的确认。

  • 提供分步骤执行,协同式完成各节点的暂停、延迟、下线及阶段状态通知,有序平稳地完成任务下线。

2023.1.9

所有地域

所有DataWorks用户

优雅下线

DataStudio简单模式支持代码评审

新增功能如下:

简单模式支持代码评审。开启强制代码评审,评审通过后节点任务才会在生产环境生效。

2023.1.5

所有地域

所有DataWorks用户

代码评审

  • 本页导读 (1)
文档反馈